Vision transformer has demonstrated great potential in abundant vision tasks. However, it also inevitably suffers from poor generalization capability when the distribution shift occurs in testing (i.e., out-of-distribution data). To mitigate this issue, we propose a novel method, Semantic-aware Message Broadcasting (SAMB), which enables more informative and flexible feature alignment for unsupervised domain adaptation (UDA). Particularly, we study the attention module in the vision transformer and notice that the alignment space using one global class token lacks enough flexibility, where it interacts information with all image tokens in the same manner but ignores the rich semantics of different regions. In this paper, we aim to improve the richness of the alignment features by enabling semantic-aware adaptive message broadcasting. Particularly, we introduce a group of learned group tokens as nodes to aggregate the global information from all image tokens, but encourage different group tokens to adaptively focus on the message broadcasting to different semantic regions. In this way, our message broadcasting encourages the group tokens to learn more informative and diverse information for effective domain alignment. Moreover, we systematically study the effects of adversarial-based feature alignment (ADA) and pseudo-label based self-training (PST) on UDA. We find that one simple two-stage training strategy with the cooperation of ADA and PST can further improve the adaptation capability of the vision transformer. Extensive experiments on DomainNet, OfficeHome, and VisDA-2017 demonstrate the effectiveness of our methods for UDA.

光场的传统表示形式可以分为两种类型：显式表示和隐式表示。与将光字段表示为基于子孔图像（SAI）的阵列或微图像（MIS）的透镜图像的明确表示不同，隐式表示将光场视为神经网络，与离散的显式表示相反，这是固有的连续表示。但是，目前，光场的几乎所有隐式表示都利用SAI来训练MLP，以学习从4D空间角坐标到像素颜色的像素映射，这既不紧凑，也不是较低的复杂性。取而代之的是，在本文中，我们提出了Minl，这是一种新型的MI-Wise隐式神经表示，用于训练MLP + CNN，以学习从2D MI坐标到MI颜色的映射。考虑到微图像的坐标，MINL输出相应的微图像的RGB值。 MINL中编码的光场只是训练一个神经网络以回归微图像，而解码过程是一个简单的前馈操作。与普通像素的隐式表示相比，MINL更加紧凑，更高效，具有更快的解码速度（\ textbf {$ \ times $ 80 $ \ sim $ 180}加速）以及更好的视觉质量（\ textbf {1 $ \ \ \ \ \ \ \ \ \ \ \ \ \ \ SIM $ 4DB} PSNR平均改进）。

作为常用的图像压缩格式，JPEG已广泛应用于图像的传输和存储。为了进一步降低压缩成本，同时保持JPEG图像的质量，已提出无损的转码技术来重新压缩DCT域中的压缩JPEG图像。另一方面，以前的工作通常会降低DCT系数的冗余性，并以手工制作的方式优化熵编码的概率预测，缺乏概括能力和灵活性。为了应对上述挑战，我们提出了通过关节损失和残留压缩的学习的无损JPEG转码框架。我们没有直接优化熵估计，而是关注DCT系数中存在的冗余。据我们所知，我们是第一个利用学习的端到端损失变换编码来减少紧凑型代表域中DCT系数的冗余的人。我们还引入了无损转编码的残留压缩，在使用基于上下文的熵编码对其进行压缩之前，它会自适应地学习残留DCT系数的分布。我们提出的转码结构在JPEG图像的压缩中表现出显着的优势，这要归功于学习的损失变换编码和残留熵编码的协作。在多个数据集上进行的广泛实验表明，根据JPEG压缩，我们提出的框架平均可以节省约21.49％的位，这表现优于典型的无损失转码框架JPEG-XL的jpeg-XL 3.51％。

近年来，压缩图像超分辨率已引起了极大的关注，其中图像被压缩伪像和低分辨率伪影降解。由于复杂的杂化扭曲变形，因此很难通过简单的超分辨率和压缩伪像消除掉的简单合作来恢复扭曲的图像。在本文中，我们向前迈出了一步，提出了层次的SWIN变压器（HST）网络，以恢复低分辨率压缩图像，该图像共同捕获分层特征表示并分别用SWIN Transformer增强每个尺度表示。此外，我们发现具有超分辨率（SR）任务的预处理对于压缩图像超分辨率至关重要。为了探索不同的SR预审查的影响，我们将常用的SR任务（例如，比科比奇和不同的实际超分辨率仿真）作为我们的预处理任务，并揭示了SR在压缩的图像超分辨率中起不可替代的作用。随着HST和预训练的合作，我们的HST在AIM 2022挑战中获得了低质量压缩图像超分辨率轨道的第五名，PSNR为23.51db。广泛的实验和消融研究已经验证了我们提出的方法的有效性。

深度神经网络（DNN）在非参考图像质量评估（NR-IQA）方面具有巨大潜力。但是，NR-IQA的注释是劳动密集型且耗时的，这严重限制了其对真实图像的应用。为了减轻对质量注释的依赖，一些作品已将无监督的域适应性（UDA）应用于NR-IQA。但是，上述方法忽略了分类中使用的对齐空间是最佳选择，因为该空间不是为了感知而精心设计的。为了解决这一挑战，我们提出了一个有效的面向感知的无监督域适应方法，用于NR-IQA，该方法通过富含标签的源域数据将足够的知识转移到通过样式的对齐和混合的标签目标域图像。具体而言，我们发现了一个更紧凑，更可靠的空间，即基于有趣/惊人的观察结果，以感知为导向的UDA的特征样式空间，即DNN中深层的功能样式（即平均和差异）与DNN中的深层层完全相关NR-IQA的质量得分。因此，我们建议在更面向感知的空间（即特征样式空间）中对齐源和目标域，以减少其他质量 - Irretrelevant特征因素的干预措施。此外，为了提高质量得分与其功能样式之间的一致性，我们还提出了一种新颖的功能增强策略样式混音，将DNN的最后一层之前将功能样式（即平均值和差异）混合在一起，并混合使用标签。对两个典型的跨域设置（即合成至真实性和多种变形）的广泛实验结果证明了我们提出的styleam对NR-IQA的有效性。

可变形的模型对于3D面的统计建模至关重要。以前的可变形模型的作品主要集中在大规模的面部几何形状上，但忽略了面部细节。本文通过学习一种结构含义的可编辑形态模型（SEMM）来增强形象模型。 SEMM基于皱纹线的距离字段引入了细节结构表示，并以细节位移进行建模，以建立更好的对应关系并实现对皱纹结构的直观操纵。此外，SEMM还引入了两个转换模块，以将表达式的融合体权重和年龄值转化为潜在空间的变化，从而在维持身份的同时可以有效的语义细节编辑。广泛的实验表明，所提出的模型紧凑地表示面部细节，在定性和定量上表达动画中的先前方法，并实现了面部细节的有效年龄编辑和皱纹线编辑。代码和模型可在https://github.com/gerwang/facial-detail-manipulation上找到。

现有的基于学习的盲图质量评估方法（BIQA）在很大程度上取决于大量注释的培训数据，并且在遇到域/分配转移问题时通常会遭受严重的性能降解。得益于无监督的域适应性（UDA）的开发，一些工作试图将知识从带有标签的源域转移到使用UDA域移动下的无标签目标域。但是，它需要源和目标数据共存，由于隐私或存储问题，这对于源数据可能是不切实际的。在本文中，我们以简单而有效的方式迈出了无源无监督的域适应（SFUDA），以使BIQA无需访问源数据即可解决域移动。具体而言，我们将质量评估任务作为评级分配预测问题。基于BIQA的内在特性，我们提出了一组精心设计的自我监督目标，以指导BN仿射参数对目标域的适应。其中，最大程度地减少了预测熵并最大化批次预测多样性的目的是鼓励更自信的结果，同时避免琐碎的解决方案。此外，基于这样的观察，即单个图像的IQA评级分布遵循高斯分布，我们将高斯正则化应用于预测的评级分布，以使其与人类评分的性质更加一致。在跨域情景下的广泛实验结果证明了我们提出的减轻域移位方法的有效性。

冠状动脉血管造影（CCTA）易受各种扭曲（例如伪影和噪声）的敏感，这严重损害了心血管疾病的确切诊断。适当的CCTA血管级图像质量评估（CCTA VIQA）算法可用于降低错误诊断的风险。 CCTA VIQA的首要挑战是，冠状动脉的本地部分确定最终质量是很难找到的。为了应对挑战，我们将CCTA VIQA作为多种现实学习（MIL）问题，并利用基于变压器的MIL主链（称为T-MIL），以将沿冠状动脉中心线的多个实例汇总为最终质量。但是，并非所有实例都提供最终质量的信息。有一些质量 - 欧元/负面实例介入确切的质量评估（例如，在实例中仅涵盖背景或冠状动脉的实例是无法识别的）。因此，我们提出了一个基于渐进的增强学习的实例丢弃模块（称为PRID），以逐步删除CCTA VIQA的质量 - 欧尔特尔/否定实例。基于上述两个模块，我们根据端到端优化提出了一个加强的变压器网络（RTN），用于自动CCTA VIQA。广泛的实验结果表明，我们提出的方法实现了现实世界中CCTA数据集的最新性能，超过了以前的MIL方法。

机器的图像编码（ICM）旨在压缩图像进行AI任务分析，而不是满足人类的看法。学习一种既是一般（用于AI任务）的特征，也是紧凑的（用于压缩）的功能，这对于其成功而言至关重要。在本文中，我们试图通过学习通用功能，同时考虑压缩来开发ICM框架。我们将诸如无所不能功能和相应框架的功能命名为Omni-ICM。考虑到自我监督学习（SSL）提高了特征的概括，我们将其与压缩任务集成到OMNI-ICM框架中，以学习无所不能的功能。但是，在SSL中协调语义建模并在压缩中删除冗余是不平凡的，因此我们通过合作实例区分和熵最小化以自适应掉落的信息来设计新颖的信息过滤（如果）模块，以较弱相关的信息执行AI任务（例如，某些纹理冗余）。与以前的特定解决方案不同，Omni-ICM可以直接基于学习的无能功能的AI任务分析，而无需联合培训或额外的转换。尽管简单而直观，但Omni-ICM在多个基本愿景任务上大大优于现有的传统和基于学习的编解码器。

The three existing dominant network families, i.e., CNNs, Transformers, and MLPs, differ from each other mainly in the ways of fusing spatial contextual information, leaving designing more effective token-mixing mechanisms at the core of backbone architecture development. In this work, we propose an innovative token-mixer, dubbed Active Token Mixer (ATM), to actively incorporate flexible contextual information distributed across different channels from other tokens into the given query token. This fundamental operator actively predicts where to capture useful contexts and learns how to fuse the captured contexts with the query token at channel level. In this way, the spatial range of token-mixing can be expanded to a global scope with limited computational complexity, where the way of token-mixing is reformed. We take ATM as the primary operator and assemble ATMs into a cascade architecture, dubbed ATMNet. Extensive experiments demonstrate that ATMNet is generally applicable and comprehensively surpasses different families of SOTA vision backbones by a clear margin on a broad range of vision tasks, including visual recognition and dense prediction tasks. Code is available at https://github.com/microsoft/ActiveMLP.